Sau khi kết thúc chiến tranh, Koshevoy tiếp tục chỉ huy quân đoàn 36. Tháng 7 năm 1946, ông được bổ nhiệm làm Tư lệnh Tập đoàn quân Cận vệ 6 thuộc Quân khu Baltic. Ông theo học các khóa cao cấp của Học viện quân sự cao cấp Voroshilov từ tháng 3 năm 1947 đến tháng 4 năm 1948. Sau khi hoàn thành các khóa học, ông được bổ nhiệm làm Tư lệnh Tập đoàn quân 5 Quân khu Primorsky, trở thành một phần của Quân khu Viễn Đông vào tháng 4 năm 1953.

Sau khi được thăng cấp Thượng tướng vào ngày 31 tháng 5 năm 1954,[2] Koshevoy được chuyển đến chỉ huy Tập đoàn quân Cận vệ 11 thuộc Quân khu Baltic vào tháng 6 năm 1954 và trở thành Phó Tổng Tư lệnh thứ nhất Cụm binh đoàn Liên Xô tại Đức (GSFG) vào tháng 7 năm 1955. Ông chỉ huy Quân khu Siberia từ tháng 7 năm 1957 và Quân khu Kiev từ tháng 4 năm 1960, được thăng cấp Đại tướng vào ngày 13 tháng 4 năm 1964.

Koshevoy trở thành Tổng Tư lệnh của GSFG vào tháng 1 năm 1965. Mặc dù được thăng cấp Nguyên soái Liên Xô vào ngày 15 tháng 4 năm 1968, đến tháng 10 năm 1969, ông lại được chuyển về làm Tổng thanh tra Quốc phòng, một vị trí chờ nghỉ hưu danh cho các sĩ quan cao cấp lớn tuổi.

Koshevoy qua đời ngày 30 tháng 8 năm 1976 tại Moskva. Ông được chôn cất tại Nghĩa trang Novodevichy.[3][2]

Hồi ký của ông, Trong những năm chiến tranh (tiếng Nga: В годы военные), được xuất bản vào năm 1978 bởi Voenizdat.[4]